Phu Văn lâu ở ngoài mặt Nam kinh thành, ngay trước Kỳ đài và Ngọ Môn. Vì vậy ca dao có câu:

Đây là ngôi nhà hai tầng, quay mặt về hướng nam. Dưới thời vua Minh Mạng, triều đình cho dựng ở hai bên hai tấm bia đá khắc 4 chữ "khuynh cái hạ mã", nghĩa là ai đi qua đều phải cởi mũ và xuống ngựa. Từ năm 1821, sau khi truyền lô, danh sách các khoa danh tiến sĩ được đem niêm yết tại đây. Vì tính cách long trọng như vậy nên hai bên lầu có hai bia đá "khuynh cái hạ mã" nhắc nhở tất cả mọi người đi ngang qua Phu Văn lâu phải "nghiêng nón xuống ngựa" để tỏ lòng kính cẩn.

Hai bên mặt trước Phu Văn lâu có đặt hai khẩu súng thần công nhỏ bằng đồng hướng vào nhau. Phía trước mặt Phu Văn lâu là một tiểu đình nằm kề bên sông Hương gọi là Nghinh Lương Ðình[1]. Ðây là nơi dùng để các vua tắm sông, hóng gió, ngắm cảnh.

Phu Văn lâu tuy đã được tu bổ nhiều lần nhưng vẫn giữ nguyên cốt cách đặc trưng của kiến trúc thời Nguyễn.